本文开发了一种基于模型的强化学习（MBR）框架，用于在线在线学习无限范围最佳控制问题的价值函数，同时遵循表示为控制屏障功能（CBFS）的安全约束。我们的方法是通过开发一种新型的CBFS，称为Lyapunov样CBF（LCBF），其保留CBFS的有益特性，以开发最微创的安全控制政策，同时也具有阳性半自动等所需的Lyapunov样品质 - 义法。我们展示这些LCBFS如何用于增强基于学习的控制策略，以保证安全性，然后利用这种方法在MBRL设置中开发安全探索框架。我们表明，我们的开发方法可以通过各种数值示例来处理比较法的更通用的安全限制。
translated by 谷歌翻译
Contrastive learning has been successfully used for retrieval of semantically aligned sentences, but it often requires large batch sizes or careful engineering to work well. In this paper, we instead propose a generative model for learning multilingual text embeddings which can be used to retrieve or score sentence pairs. Our model operates on parallel data in $N$ languages and, through an approximation we introduce, efficiently encourages source separation in this multilingual setting, separating semantic information that is shared between translations from stylistic or language-specific variation. We show careful large-scale comparisons between contrastive and generation-based approaches for learning multilingual text embeddings, a comparison that has not been done to the best of our knowledge despite the popularity of these approaches. We evaluate this method on a suite of tasks including semantic similarity, bitext mining, and cross-lingual question retrieval -- the last of which we introduce in this paper. Overall, our Variational Multilingual Source-Separation Transformer (VMSST) model outperforms both a strong contrastive and generative baseline on these tasks.
translated by 谷歌翻译
神经网络量化能够在边缘设备上部署模型。对其硬件效率的基本要求是平衡器是硬件友好的：均匀，对称，以及两个阈值的功率。据我们所知，目前的训练后量化方法不同时支持所有这些约束。在这项工作中，我们引入了硬件友好的训练量化（HPTQ）框架，通过协同组合几种已知的量化方法来解决这个问题。我们对四个任务进行了大规模的研究：在各种网络架构上进行分类，对象检测，语义分割和姿势估计。我们广泛的实验表明，可以在硬件友好的限制下获得竞争结果。
translated by 谷歌翻译
Large language models (LLMs) have been shown to be able to perform new tasks based on a few demonstrations or natural language instructions. While these capabilities have led to widespread adoption, most LLMs are developed by resource-rich organizations and are frequently kept from the public. As a step towards democratizing this powerful technology, we present BLOOM, a 176B-parameter open-access language model designed and built thanks to a collaboration of hundreds of researchers. BLOOM is a decoder-only Transformer language model that was trained on the ROOTS corpus, a dataset comprising hundreds of sources in 46 natural and 13 programming languages (59 in total). We find that BLOOM achieves competitive performance on a wide variety of benchmarks, with stronger results after undergoing multitask prompted finetuning. To facilitate future research and applications using LLMs, we publicly release our models and code under the Responsible AI License.
translated by 谷歌翻译
该文档概述了Prospero预先注册的方案，用于对口腔或口腔或肉桂癌治疗后语音变化的系统审查进行系统审查。口腔中肿瘤的治疗可能会导致生理变化，这可能导致发音困难。由于疤痕组织和/或潜在的（术后）放射治疗，舌头变得不那么流动。此外，组织损失可能会为气流或极限收缩可能性创造旁路。为了更好地了解语音问题的性质，需要有关枢纽运动的信息，因为感知信息或声学信息仅提供了间接的关节变化证据。因此，这项系统的综述将回顾研究，该研究直接测量口腔或口咽癌治疗后舌，下巴和嘴唇的关节运动。
translated by 谷歌翻译
生物视觉系统的神经基础在实验上研究很具有挑战性，特别是因为相对于视觉输入，神经元活性变得越来越非线性。人工神经网络（ANN）可以为改善我们对这一复杂系统的理解提供各种目标，不仅充当硅中新假设产生的感觉皮层的预测数字双胞胎，而且还融合了生物启发的建筑主题，以逐步桥接桥梁生物和机器视觉之间的差距。该鼠标最近已成为研究视觉信息处理的流行模型系统，但是尚未确定识别鼠标视觉系统最新模型的标准化大规模基准。为了填补这一空白，我们提出了感官基准竞赛。我们从小鼠初级视觉皮层中收集了一个大规模数据集，其中包含七个小鼠的28,000多个神经元的反应，并通过数千个自然图像刺激，以及同时的行为测量，包括跑步速度，瞳孔扩张和眼动。基准挑战将基于固定测试集中神经元响应的预测性能对模型进行对模型，其中包括两个模型输入的轨道，仅限于刺激（感觉到）或刺激加行为（感觉符号+）。我们提供一个起始套件，以降低进入障碍的障碍，包括教程，预训练的基线模型以及带有一条线命令以进行数据加载和提交的API。我们希望将其视为定期挑战和数据发布的起点，也是衡量鼠标视觉系统及其他大规模神经系统识别模型中进度的标准工具。
translated by 谷歌翻译
矢量量化变量自动编码器（VQ-VAE）是基于数据的离散潜在表示的生成模型，其中输入映射到有限的学习嵌入式集合。要生成新样品，必须对离散状态进行自动介绍的先验分布。分别地。这一先验通常非常复杂，并导致生成缓慢。在这项工作中，我们提出了一个新模型，以同时训练先验和编码器/解码器网络。我们在连续编码的向量和非信息性先验分布之间建立扩散桥。然后将潜在离散状态作为这些连续向量的随机函数。我们表明，我们的模型与迷你imagenet和Cifar数据集的自动回归先验具有竞争力，并且在优化和采样方面都有效。我们的框架还扩展了标准VQ-VAE，并可以启用端到端培训。
translated by 谷歌翻译
通过基于一阶梯度的估计，通过替换零阶梯度估计来替换零阶梯度估计，可以通过估算零阶梯度估计来更快地计算时间。但是，尚不清楚哪些因素决定了两个估计量在复杂景观上的性能，尽管该问题对于可区分的模拟器的实用性至关重要，但涉及长途计划和对物理系统的控制。我们表明，某些物理系统的特征，例如刚度或不连续性，可能会损害一阶估计器的功效，并通过偏置和方差的镜头分析这种现象。我们还提出了一个$ \ alpha $ - 订单梯度估计器，并在[0,1] $中使用$ \ alpha \，它正确利用了精确的梯度将一阶估计值的效率与零级方法的鲁棒性结合在一起。我们在一些数值示例中证明了传统估计器的陷阱以及$ \ alpha $订单估计器的优势。
translated by 谷歌翻译
通常在高维生物数据集中发现的最常见的缺陷之一是特征之间的相关性。这可能导致统计和机器学习方法过度或低估这些相关预测因素，而真正相关的则被忽略。在本文中，我们将定义一种名为“成对置换算法}（PPA）的新方法，其目的是在特征重要性值中减轻相关偏差。首先，我们提供了一个理论基础，在以前的工作中建立了折射重要性。然后将PPA应用于玩具数据集，我们展示了校正相关效果的能力。我们进一步测试PPA在微生物霰弹枪数据集上，表明PPA已经能够获得生物相关的生物标志物。
translated by 谷歌翻译
有限的作品显示无监督的分布（OOD）方法对复杂的医疗数据的功效。在这里，我们展示了我们无监督的OOD检测算法，SIMCLR-LOF的初步调查结果，以及在医学图像上应用的最近现实方法（SSD）的最新状态。SIMCLR-LOF使用SIMCLR学习语义有意义的功能，如果测试样本是ood的，则使用LOF进行评分。我们在多源国际皮肤成像协作（ISIC）2019数据集上进行了评估，并显示与SSD竞争的结果以及应用于同一数据的最近监督方法。
translated by 谷歌翻译